Statistique d'ordre

Distribution pour la statistique d'ordre 5 d'une distribution exponentielle avec θ = 3.

En statistiques, la statistique d'ordre de rang k d'un échantillon statistique est égal à la k-ième plus petite valeur. Associée aux statistiques de rang, la statistique d'ordre fait partie des outils fondamentaux de la statistique non paramétrique et de l'inférence statistique.

Deux cas importants de la statistique d'ordre sont les statistiques du minimum et du maximum, et dans une moindre mesure la médiane de l'échantillon ainsi que les différents quantiles.

Quand on emploie la théorie des probabilités pour analyser les statistiques d'ordre d'un échantillon issu d'une loi de probabilité continue, la fonction de répartition est employée pour ramener l'analyse au cas de la statistique d'ordre sur une loi uniforme continue

Notation et exemples

Soit une expérience conduisant à l'observation d'un échantillon de 4 nombres, prenant les valeurs suivantes :

6, 9, 3, 8,

que l'on note selon la convention :

$x_{1}=6;\ \ x_{2}=9;\ \ x_{3}=3;\ \ x_{4}=8\,$

où le i en indice sert à identifier l'observation (par son ordre temporel, le numéro du dispositif correspondant, etc.), et n'est pas a priori corrélée avec la valeur de l'observation.

On note la statistique d'ordre :

$x_{(1)}=3;\ \ x_{(2)}=6;\ \ x_{(3)}=8;\ \ x_{(4)}=9\,$

où l'indice (i) dénote la i-ième statistique d'ordre de l'échantillon suivant la relation d'ordre habituelle sur les entiers naturels.

Par convention, la première statistique d'ordre, notée $X_{(1)}$, est toujours le minimum de l'échantillon, c'est-à-dire :

$X_{(1)}=\min\{\,X_{1},\ldots ,X_{n}\,\}$

Suivant la convention habituelle, les lettres capitales renvoient à des variables aléatoires, et les lettres en bas de casse aux valeurs observées (réalisations) de ces variables.

De même, pour un échantillon de taille n, la statistique d'ordre n (autrement dit, le maximum) est

$X_{(n)}=\max\{\,X_{1},\ldots ,X_{n}\,\}.$

Les statistiques d'ordre sont les lieux des discontinuités de la fonction de répartition empirique de l'échantillon.

Analyse probabiliste

Densité d'une statistique d'ordre

Étant donné un échantillon $X=(X_{1},X_{2},\ldots ,X_{n})$, les statistiques d'ordres, notées $X_{(1)},X_{(2)},\ldots ,X_{(n)}$, sont donc obtenues par tri croissant.

Théorème — Si on suppose l'échantillon X indépendant et identiquement distribué selon une loi de densité f et de fonction de répartition F, alors la densité de la k-ème statistique d'ordre est

$f_{X_{(k)}}(x)={n! \over (k-1)!(n-k)!}F(x)^{k-1}(1-F(x))^{n-k}f(x).$

Démonstration

Calcul via la fonction de répartition

La fonction de répartition de la k-ème statistique d'ordre est

${\begin{aligned}\mathbb {P} \left(X_{(k)}\leq x\right)&{}=F_{X_{(k)}}(x)\quad =\quad \mathbb {P} (\mathrm {au} \ \mathrm {moins} \ k\ \mathrm {des} \ n\ X\ \mathrm {sont} \ \leq x)\\&=\sum _{j=k}^{n}{n \choose j}\mathbb {P} (X_{1}\leq x)^{j}(1-\mathbb {P} (X_{1}\leq x))^{n-j}\\&=\sum _{j=k}^{n}{n \choose j}F(x)^{j}(1-F(x))^{n-j}.\end{aligned}}$

Autrement dit, le nombre d'éléments de l'échantillon inférieurs à x suit une loi binomiale de paramètres n et F(x), puisqu'il s'agit là de n expériences indépendantes, possédant deux issues : « être inférieur à x » et « être supérieur à x », la première des deux issues ayant pour probabilité F(x), et la deuxième issue ayant pour probabilité 1-F(x). En dérivant, on trouve une somme télescopique qui donne la densité :

${\begin{aligned}f_{X_{(k)}}(x)&{}={d \over dx}F_{X_{(k)}}(x)\\&{}=\sum _{j=k}^{n}{n \choose j}\left(jF(x)^{j-1}f(x)(1-F(x))^{n-j}+F(x)^{j}(n-j)(1-F(x))^{n-j-1}(-f(x))\right)\\&{}={n \choose k}\,kF(x)^{k-1}f(x)(1-F(x))^{n-k}\ +\ \sum _{j=k+1}^{n}{n \choose j}jF(x)^{j-1}f(x)(1-F(x))^{n-j}\ -\ \sum _{j=k}^{n-1}(n-j){n \choose j}\ F(x)^{j}f(x)(1-F(x))^{n-j-1}\\&{}={n \choose k}\,kF(x)^{k-1}f(x)(1-F(x))^{n-k}\ +\ \sum _{j=k+1}^{n}{n \choose j}jF(x)^{j-1}f(x)(1-F(x))^{n-j}\ -\ \sum _{j=k+1}^{n}(n-j+1){n \choose j-1}\ F(x)^{j-1}f(x)(1-F(x))^{n-j}\\&{}={n \choose k}\,kF(x)^{k-1}f(x)(1-F(x))^{n-k}\ +\ \sum _{j=k+1}^{n}\left({n \choose j}j-(n-j+1){n \choose j-1}\right)\ F(x)^{j-1}f(x)(1-F(x))^{n-j}\\&{}={n \choose k}\,kF(x)^{k-1}f(x)(1-F(x))^{n-k},\end{aligned}}$

car

${n \choose j}j\ =\ {\frac {n!\,j}{j!\,(n-j)!}}\ =\ {\frac {n!\,(n-j+1)}{(j-1)!\,(n-j+1)!}}\ =\ (n-j+1){n \choose j-1}.$

Finalement :

$f_{X_{(k)}}(x)={n! \over (k-1)!(n-k)!}F(x)^{k-1}(1-F(x))^{n-k}f(x).$

Calcul direct

Lors d'une série de n expériences aléatoires indépendantes et identiques ayant chacune trois issues possibles, disons a, b, et c, de probabilités respectives p_a, p_b, p_c, la loi jointe des nombres d'issues N_a (resp. N_b, N_c ) de type a (resp. b, c) est une loi multinomiale de paramètres n et p=(p_a, p_b, p_c ), décrite par :

${\begin{aligned}\mathbb {P} \left((N_{a},N_{b},N_{c})=(k_{a},k_{b},k_{c})\right)&={n \choose k_{a},k_{b},k_{c}}\ p_{a}^{k_{a}}\,p_{b}^{k_{b}}\,p_{c}^{k_{c}}\ 1\!\!1_{k_{a}+k_{b}+k_{c}=n}\\&={\frac {n!}{k_{a}!\,k_{b}!\,k_{c}!}}\ p_{a}^{k_{a}}\,p_{b}^{k_{b}}\,p_{c}^{k_{c}}\ 1\!\!1_{k_{a}+k_{b}+k_{c}=n}.\end{aligned}}$

Ainsi, la densité de X_(k) est obtenue en reconnaissant une série de n expériences aléatoires indépendantes et identiques ayant chacune trois issues possibles, X_i ≤ x, x<X_i ≤ x+dx, et X_i > x+dx'', de probabilités respectives F(x), f(x) dx, et 1-F(x)-f(x)dx. Ainsi,

${\begin{aligned}f_{X_{(k)}}(x)\ dx&{}=\mathbb {P} \left(X_{(k)}\in [x,\,x+dx]\right)\\&{}\mathbb {P} \left({\text{ parmi les }}n\ X_{i},{\text{exactement}}\ k-1\ {\text{sont}}\ \leq x,{\text{exactement un des }}X_{i}\in [x,\,x+dx],{\text{et les autres sont}}\ \geq x+dx\right)\\&={\frac {n!}{(k-1)!\,1!\,(n-k)!}}\ F(x)^{k-1}\,f(x)\,dx\,(1-F(x))^{n-k}\\&={\frac {n!}{(k-1)!\,(n-k)!}}\ F(x)^{k-1}\,(1-F(x))^{n-k}\,f(x)\,dx.\end{aligned}}$

En particulier,

$f_{X_{(n)}}(x)=nF(x)^{n-1}\ f(x),$

Cette formule peut être trouvée directement, en dérivant le résultat ci-dessous :

${\begin{aligned}P\left(X_{(n)}\leq x\right)&{}=F_{X_{(n)}}(x)=P\left(\max\{X_{1},...,X_{n}\}\leq x\right)=\prod _{i=1}^{n}P\left(X_{i}\leq x\right)=F\left(x\right)^{n}\end{aligned}}$

Pour la loi uniforme continue, la densité de la k-ème statistique d'ordre est celle d'une Loi bêta, de paramètres k et n+1-k.

Densité jointe de toutes les statistiques d'ordre

Théorème — Si on suppose l'échantillon X indépendant et identiquement distribué selon une loi de densité f, alors la densité jointe des n statistiques d'ordre est

$f(x_{(1)},\dots ,x_{(n)})\ =\ n!\ \left(\prod _{i=1}^{n}f(x_{(i)})\right)\ 1\!\!1_{x_{(1)}<x_{(2)}<\dots <x_{(n-1)}<x_{(n)}}.$

Démonstration

Il suffit de démontrer que pour toute fonction φ mesurable, bornée et positive ou nulle,

${\begin{aligned}\mathbb {E} \left[\varphi (X_{(1)},X_{(2)},\dots ,X_{(n)})\right]&=\ \int _{\mathbb {R} ^{n}}\varphi (x_{(1)},x_{(2)},\dots ,x_{(n)})\,n!\ \left(\prod _{i=1}^{n}f(x_{(i)})\right)\ 1\!\!1_{x_{(1)}<x_{(2)}<\dots <x_{(n-1)}<x_{(n)}}dx_{(1)}\dots dx_{(n)}.\end{aligned}}$

Mais, comme les X_i sont indépendants et possèdent des densités, on a:

${\begin{aligned}\mathbb {P} \left(\forall i\neq j,\ X_{i}\neq X_{j}\right)&=1.\end{aligned}}$

Par conséquent, presque sûrement,

${\begin{aligned}\varphi (X_{(1)},X_{(2)},\dots ,X_{(n)})&=\ \sum _{\sigma \in {\mathfrak {S}}_{n}}\varphi (X_{\sigma (1)},X_{\sigma (2)},\dots ,X_{\sigma (n)})\ 1\!\!1_{X_{\sigma (1)}<X_{\sigma (2)}<\dots <X_{\sigma (n-1)}<X_{\sigma (n)}}.\end{aligned}}$

Finalement :

${\begin{aligned}\mathbb {E} \left[\varphi (X_{\sigma (1)},X_{\sigma (2)},\dots ,X_{\sigma (n)})\,1\!\!1_{X_{\sigma (1)}<X_{\sigma (2)}<\dots <X_{\sigma (n)}}\right]&=\ \mathbb {E} \left[\varphi (X_{1},X_{2},\dots ,X_{n})\,1\!\!1_{X_{1}<X_{2}<\dots <X_{n}}\right]\\&=\ \int _{\mathbb {R} ^{n}}\varphi (x_{1},x_{2},\dots ,x_{n})\ \left(\prod _{i=1}^{n}f(x_{i})\right)\ 1\!\!1_{x_{1}<x_{2}<\dots <x_{n}}dx_{1}\dots dx_{n},\end{aligned}}$

puisque $(X_{\sigma (1)},X_{\sigma (2)},\dots ,X_{\sigma (n)})$ et $(X_{1},X_{2},\dots ,X_{n})$ ont même densité $\prod _{i=1}^{n}f(x_{i}).\$ La linéarité de l'espérance permet de conclure.

Références

• Herbert Aron David et Haikady N. Nagaraja, Order Statistics, Wiley, août 2003, 3^e éd., 458 p. (ISBN 978-0-471-38926-2)